Vào tháng 9 năm 2001, Mascherano đã cùng Argentina về đích ở vị trí thứ tư ở giải FIFA U-17 thế giới.Những ấn tượng anh để lại ở giải đấu này đã giúp anh được gọi vào đội tuyển quốc gia trước khi có trận ra mắt trong màu áo River Plate.Trận ra mắt của anh là trong trận giao hữu với đội tuyển bóng đá quốc gia Uruguay vào ngày 16 tháng 7 năm 2003.

Vào giữa mùa giải Apetura 2003-2004 Mascherano được chọn để chơi ở giải trẻ thế giới vào năm 2003.Argentina một lần nữa lại về đích ở vị trí thứ tư và Mascherano là cầu thủ chủ chốt của đội bóng.Tuy nhiên Mascherano lại bị treo giò trong trận tranh giải ba.

Vào tháng 1 năm 2004, Mascherano cùng đội U-23 Argentina dự giải South American Pre-Olímpico ở Chile.Argentina vô địch giải đấu, vào sau đó được dự Thế vận hội Mùa hè 2004.Vào tháng 8, Mascherano cùng đội tuyển dành huy chương vàng ở Hi Lạp.

Cuối mùa giải 2003-2004 Mascherano được gọi vào đội tuyển để dự Copa America 2004.Argentina thua đội tuyển bóng đá quốc gia Brasil trên chấn luân lưu ở trận chung kết, nhưng Mascherano vẫn được các đồng đội bầu là cầu thủ Argentina xuất sắc nhất giải.

Vào tháng 6 năm 2005, Mascherano cùng đội tuyển dự Confederations Cup ở Đức.Argentina gặp Brazil ở trận chung kết và thua 4-1.

Ở World Cup 2006, Mascherano chơi đầy đủ tất cả các trận đấu cho Argentina, và Argentina đã bị loại bởi đội tuyển Đức ở tứ kết.

Vào tháng 7 năm 2007, Mascherano ghi hai bàn đầu tiên cho Argentina ở Copa America 2007 và được đánh giá là cầu thủ Argentina hay nhất trong một đội hình toàn các ngôi sao.Mascherano phải nhận chiếc thẻ đỏ đầu tiên trong sự nghiệp thi đấu quốc tế sau khi nhận hai thẻ vàng trong trận tiếp đội tuyển bóng đá quốc gia Mĩ vào ngày 8 tháng 6 năm 2008.Anh bị đuổi khỏi sân ở phút 86, và trận đấu kết thúc với tỉ số 0-0.

Vào năm 2008 Mascherano được gọi vào đội tuyển U-23 Argentina dự Olympic Bắc Kinh,Mascherano rất vui vì được gọi lên, anh nói "Thật tuyệt vời đối với mọi vận động viên khi nhận được huy chương vàng. Tôi có thể là người duy nhất ở đất nước tôi từng làm được điều đó và tôi sẽ đi vào lịch sử."Argentina vô địch giải đấu và Mascherano trở thành cầu thủ thứ hai từng giành được 2 huy chương vàng Olympic trong môn bóng đá.

Tại World Cup 2014 tổ chức tại Brasil, anh và các đồng đội đã lọt vào đến trận chung kết và chỉ chịu thua sát nút 0-1 trước đội tuyển Đức, qua đó giành ngôi á quân. Tại 2 kỳ Copa América 2015 và Copa América Centenario 2016, anh và các đồng đội cũng đã lọt vào trận chung kết và đều thua Chile cùng ở loạt sút luân lưu, qua đó cùng giành ngôi á quân.

Sau kì World Cup 2018 không thành công của đội tuyển Argentina (thua Pháp với tỉ số 3-4 ở vòng 16 đội), Javier Mascherano tuyên bố giã từ đội tuyển quốc gia sau 15 năm gắn bó, tổng cộng anh đã có 147 lần ra sân và ghi được 3 bàn thắng.